大模型时代的人工智能+大数据平台，加速创新涌现

大模型和MaaS概念的出现，定义了以模型为中心的一整套AI开发新范式，而这背后日益增长的巨大算力需求，对AI工程底座提出了新的挑战。今天，大模型时代下的人工智能+大数据平台，需要具备计算效率、开发效率、处理效率为一体的高效能力，才能保障服务AI时代下的业务创新。

10月31日，2023云栖大会上，阿里云副总裁、阿里云计算平台事业部负责人汪军华宣布阿里云人工智能+大数据平台升级发布，以服务大模型时代下各行各业的业务创新。

01

高性能的AI基础设施，让计算效率达到极致

根据OpenAI测算，全球用于头部AI模型训练的算力需求以每年10倍的速度增长，计算需求处于持续爆发中。汪军华介绍，PAI灵骏智算集群在网络、存储、调度上做了深度优化，采用HPN 7.0新一代AI集群网络架构，存储计算分离架构，支持高达10万卡量级的集群可扩展规模，让超大规模集群像1台计算机般运转。

软硬一体的智算服务PAI灵骏，为大规模深度学习训练场景提供稳定和高效的支撑，大模型训练任务线性加速比可达到96%，大模型训练资源可节省超50%。在稳定性保障方面，PAI灵骏智算服务配置了弹性容错训练框架AIMaster和EasyCkpt模型自动保存与恢复能力，可让千卡规模任务稳定运行3周以上。

面向大模型的推理服务场景，PAI体系化地整合模型系统联合优化、运行时优化、LLM领域优化等能力，可将大语言模型推理吞吐提升3.5倍，大幅降低推理时延。单卡推理可支持的最大上下文长度达280K，超长的上下文推理将进一步推动LLM涌现。

02

多形态、更灵活的AI开发模式，支撑多样化需求

随着需求的不断涌现，AI开发者和AI开发需求越发细分。人工智能平台PAI 4.0发布，全面降低大模型AI开发门槛，提供完善的需求支撑，提升开发效率。

不论是需要定义模型结构和开发流程的深度学习开发者群体，还是有海量大规模计算任务的群体，亦或是需要高效快速串联起训练推理任务的业务算法群体，都可以通过PAI来实现研发，包含各类热门的计算框架、开源模型和开发场景，一站式地完成开发部署。

PAI灵积为广大开发者提供了通过云上API服务，可以用于应用模型开发和开发好的模型调用，允许开发者将大模型能力迅速集成到自己的业务和应用中，在PAI-灵积平台上，开发者不仅可以找到通义系列大模型（包括通义千问，通义万相等等），也可以找到来自业界最优秀的头部大模型，包括ChatGLM，百川，Stable Diffusion等。

汪军华宣布，今天这些模型都通过PAI 灵积上统一的API和SDK对广大开发者开放，开发者只需要几行代码，就能迅速把这些不同类别的大模型的能力，集成到自己的应用中去。

03

高效的数据服务提升大模型效果，大数据和AI更深融合

在机器学习开发过程中，80%的研发时间有用于数据准备，数据质量决定着大模型的效果，数据处理分析的重要性更加凸显。大数据作为AI基础设施的一部分，阿里云提供了从数据积累、清洗、建模、计算到服务的全套产品化方案，来节省AI开发过程中数据准备的时间。

同时，大数据和AI进行了更深度的融合。阿里云自研大数据处理平台MaxCompute 全面升级DataFrame能力，发布分布式计算框架MaxFrame，100%兼容Pandas等数据处理接口，一行代码即可将原生Pandas自动转为MaxFrame分布式计算，打通数据管理、大规模数据分析、处理到ML开发全流程，打破大数据及AI开发使用边界，大大提高开发效率。

大模型驱动的 AI 时代，AI 场景对数据时效性的要求也越来越高，Flink+Paimon新一代实时湖仓方案，为用户提供一站式数据入湖、实时加工和探查分析能力，拓展 Flink 在数据湖场景的实时计算能力，同时加速 AI 应用。

全托管向量检索服务DashVector正式发布，基于阿里云自研8年的高性能向量检索内核Proxima，提供具备水平拓展能力的云原生、全托管的向量检索服务。Hologres、OpenSearch、Elasticsearch分别升级了向量能力，满足不同场景下性能的提升。全新发布DataWorks Copilot，将大数据平台的一站式统一元数据、统一调度、统一数据集成、统一数据建模与AI大模型能力全面结合， 将AI与业务充分融合，创造新价值。

在面向大模型时代整体大数据AI产品能力升级后，汪军华宣布大数据AI产品全面完成Serverless化，致力于给客户提供开箱即用、按需付费的高性价比产品。作为大模型时代AI的基础设施，阿里云人工智能+大数据平台将坚定、持续的投入研发资源，服务各行各业的业务创新。

/ END /

更多推荐

点击「阅读原文」，收藏2023云栖大会大数据AI参会手册！37场主主题分享，覆盖大模型、AIGC、数据计算、数据开发治理、检索分析等多领域，更有大咖分享、沉浸式体验等多个精彩环节，探索“大数据+AI无限可能”！